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14) ECRAN TACTILE ET DISPOSITIF DE VISUALISATION UTILISANT CET ECRAN TACTILE. 



\57J Le dispositif de visualisation est muni d'un ecran de- 
poti ou translucide (1) sur lequel sont presentees les ima- 
ges, soit en y appiiquant un transparent, soit par retropro- 
jection optique. Ce dispositif est muni d'une camera (6) qui 
observe I'ecran depoli par I'arriere, et d'un systeme d'eclai- 
rage auxiliaire (2) destine a eclairer le depoli. Lorsqu'un 
operateur applique son doigt sur le depoli, la camera peut 
discerner I'empreinte de ce doigt. Un systeme (5) de traite- 
ment de reformation delivree par la camera est implante 
dans le dispositif afin de detecter une ou plusieurs em- 
preintes sur le depoli, et de calculer les coordonnees de 
cette ou de ces empreintes sur le depoli. 
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ECRAN TACTILE ET DIPOSITIF DE VISUALISATION UTILISANT CET 
~ " ' ~ ECRAN TACTILE 

La presente invention concerne les dispositifs interactifs 
de presentation d' images munis d'un ecran tactile. 

Parmi les applications de 1' invention, 1' on peut citer les 
dispositifs de genre « tableaux elect roniques » qui permettent 
la presentation et 1 ' elaboration d' images inf ormat iques lors 
de reunions; les dispositifs interactifs de fournitures 
d' informations au grand public dans des lieux publics, qui 
permettent par exemple de determiner le chemin a prendre pour 
rejoindre un lieu pointe sur une carte; les dispositifs 
interactifs de genre « tableau de controle » pour systemes de 
surveillance; les dispositifs de television par 

retropro]ection munis d'un ecran tactile autorisant une 
interactivite . 

L' on connait deja divers dispositifs de presentation 
d' images munis d' ecrans tactiles, qui permettent de localiser 
la position d'un doigt sur une surface transparente disposee 
devant un ecran de visualisation. Parmi les diverses 
technologies utilisees pour realiser ces ecrans tactiles, l'on 
peut citer: 

- les ecrans capacitifs, constitues d' une surface transparente 
en verre ou en matiere plastique, sur laquelle sont deposees 
des electrodes transparentes . Un dispositif electronique 
permet de mesurer la capacite electrique apparente de ces 
electrodes; l'approche du doigt vers une electrode modifie 
cette capacite apparente. 

les ecrans resistifs, constitues par deux surfaces 
transparentes et conductrices legerement espacees, qui sont 
mises en contact par la pression d'un doigt. Ces ecrans 
peuvent etre structures en lignes et en colonnes, ce qui 
permet une determination discontinue de la position du doigt 
sur 1' ecran. II peuvent aussi etre munis d' une simple couche 
uniforme de materiau resistif, ce qui permet une detection 
continue de la position du doigt par mesure des resistances 



electriques entre plusieurs points de mesure situes en 
peripherie de l'ecran. 

- les ecrans a barriere optique infrarouge, muni sur chacun de 
leurs cotes de barrettes d' emetteurs et de recepteurs. Le 

5 doigt de l'operateur vient masquer au moins deux faisceaux 
horizontaux et verticaux lorsqu'il vient toucher l'ecran, ce 
qui permet sa localisation en X et en Y. 

- les ecrans a « ondes de surface » , ou la pression du doigt 
attenue la propagation d'une onde emise, qui est detectee sur 

10 le pourtour de l'ecran. 

Tous ces dispositifs, largement industrialises, restent 
cependant onereux, ce qui limite leur utilisation. Leur cout 
augmente d' autre part avec la surface de la surface tactile, 
ce qui rend leur emploi peu attractif pour des equipements de 

15 grande surface. lis sont enfin relativement fragiles, 
vulnerables et peu resistants au vandal i sme . 

Pour remedier a ces inconvenients, des dispositifs 
utilisant une camera qui observe la surface tactile ont ete 
developpes. 1/ on peut ainsi determiner la position en XY d'un 

20 pointeur situe sur la surface tactile par analyse de 1' image 
de cette surface. Plus precisement, deux types de dispositifs 
de ce genre ont deja ete developpes: 

- un dispositif utilisant une camera qui analyse 1' image d'un 
operateur dont le doigt est pose sur un tableau blanc opaque, 

25 l'operateur et la camera etant situes du raeme cote par rapport 
au tableau. Ce systeme presente deux inconvenients ma j eurs : 
l'operateur est gene dans ses operations de designation, car 
il doit prendre garde a ne pas s'interposer entre la camera et 
le tableau; d' autre part ce systeme de designation est peu 

30 precis car le systeme d' analyse d' image ne peut pas localiser 
avec precision la position de contact entre le tableau et le 
doigt . 

- un systeme de camera qui analyse la position d'un faisceau 
lumineux emis par un « crayon optique » et dirige vers un 

35 tableau opaque ou bien translucide. Dans le premier cas la 
camera et l'operateur sont situes du meme cote de l'ecran, 
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alors que dans le deuxieme cas, la camera et l'operateur sont 
situes de part et d' autre de l'ecran. Cette deuxieme version 
libere l'operateur de contraintes de positionnement . Si ce 
type de dispositif permet d' atteindre une bonne precision de 
designation, il impose cependant l'emploi d'un accessoire de 
designation pour l'operateur, ce qui complique l'emploi et 
n'est pas compatible avec une utilisation dans un lieu public. 

La presente invention vise a remedier a 1' ensemble des 
inconvenients des dispositifs ci-dessus, en permettant de 
disposer d'un ecran tactile de cout raisonnable meme pour une 
grande surface de designation, sans avoir a utiliser 
d' accessoire de designation, avec toute liberte de 
positionnement de 1' utilisateur par rapport a l'ecran, avec 
une bonne precision de designation, et avec une grande 
robustesse . 

Dans ce but 1' invention propose notamment un dispositif 
caracterise en ce qu' il comprend 1 ' association d'un ecran 
translucide (ou ecran depoli) constituant ecran tactile, d' une 
camera situee derriere cet ecran par rapport a 1 ' utilisateur, 
d'un dispositif d' eclairage auxiliaire illuminant 1' ensemble 
de la surface tactile, et d'un dispositif de traitement de 
1' image fournie par la camera. Lorsque le doigt d'un operateur 
vient au contact ou au voisinage immediat de l'ecran eclaire 
par la source de lumiere, son image devient perceptible par la 
camera au travers de l'ecran translucide. Cette image est 
analysee par le systeme de traitement de 1 ' information qui 
peut par exemple calculer les coordonnees X Y du doigt sur 
1 ' ecran . 

Le systeme d' eclairage peut etre situe d'un cote ou de 
1' autre de l'ecran. Si l'on dispose 1' eclairage du cote de 
1 ' observateur , il faut faire en sorte qu' il eclaire toujours 
l'ecran, sauf lorsque le doigt est suffisamment proche de 
l'ecran. Pour cela l'on disposera plusieurs sources 
d' eclairage en peripherie de l'ecran et dirigees vers le 
centre de l'ecran. Dans ce cas la camera observe une tache 
noire caracteristique sur l'ecran eclaire lorsqu'un doigt est 



pose sur l'ecran. Dans le cas ou l'eclairage est situe de 
1' autre cote de l'ecran par rapport a 1' observateur, 1' image 
est observee en contraste inverse: la presence du doigt sur le 
depoli renvoie la lumiere vers la camera, qui percoit une 

5 tache claire sur un fond sombre. 

Dans les deux configurations d' eclairage, et afin d' eviter 
si necessaire d'ajouter de la lumiere parasite qui generait 
l'operateur, l'on peut faire en sorte que cet eclairage 
n' emette que des rayonnements inf rarouges dans une bande 

10 spectrale superieure a 0,7pm, en conservant une energie 
suffisante en deca de 1,1 um pour le cas ou l'on utilise une 
camera CCD en technologie silicium. Ce type d' eclairage peut 
etre obtenu en interposant un filtre optique devant les 
sources d' eclairage. 

15 II faut noter que la camera qui observe le depoli regoit 

de la lumiere issue de sources variees: 

1. Lumiere utile, issue des moyens d' eclairage specif iques 
evoques ci-dessus. 

2 . eventuellement lumiere emise a 1'interieur du 
20 dispositif, par exemple par un re tropro j ec teur qui vient 

former une image sur le depoli, 

3 . eventuellement la lumiere ambiante exterieure qui 
traverse le depoli. 

Seule la lumiere emise par les moyens d' eclairage 
25 specif iquement etudies a cet effet,- contribue de maniere 
efficace a la formation d' une image du doigt de 1 ' observateur, 
facilement int erpretabl e par le systeme d' analyse d' image. 
L'on a interet a minimiser 1' inf luence des autres sources de 
lumiere. Pour cela plusieurs moyens peuvent etre employes, 
30 separement ou en combinaison: 

1 . Synchroniser dans le temps l'eclairage specif ique avec 
les prises de vues successives d' images par la camera, de 
telle facon que par exemple une image sur deux soit saisie 
avec l'eclairage specif ique actif, puis avec l'eclairage 
35 specif ique eteint. La difference energetique point a point 
entre deux images permet de calculer une image qui serait 



obtenue en neutralisant toutes les sources de lumiere 
parasite . 

2. Filtrer spectralement la lumiere emise par le 
retropro j ecteur eventuel et la lumiere emise par le systeme 

5 d'eclairage auxiliaire, dans deux domaines spectraux 
disjoints, la camera etant munie elle meme d'un filtre 
spectral qui ne laisse passer que la bande spectrale emise par 
l'eclairage specifique. 

3. Analyser la forme des taches vues par la camera en ne 
10 conservant apres traitement que les taches dont la forme est 

similaire avec l'empreinte de 1' extremite d'un doigt sur le 
depoli. Pour cela l'on peut par exemple effectuer un calcul de 
correlation entre 1' image percue par la camera et un modele 
d'empreinte, ou bien calculer l'ecart type entre le barycentre 
15 d'une tache et les divers points qui contribuent a cette 
tache . 

Un tel dispositif peut etre realise sous diverses 
variantes, mettant en jeu diverses sources d' images, pour 
divers types d' utilisateurs . A chaque utilisation est adaptee 
20 un choix entre les diverses possibilites qui ont ete evoquees 
ci-dessus . 

A titre non limitatif, l'on peut citer les configurations 
suivantes: 

- de la maniere la plus economique possible, l'on realise 
25 une boite a lumiere chargee de permettre de presenter sur un 
depoli un ' dessin retroeclaire , trace sur une feuille 
transparent e . Une camera placee a 1' interieur de cette boite a 
lumiere detecte 1' image d'un doigt pose sur le transparent, ou 
bien situe dans son voisinage immediat . Dans ce cas les 
30 fonctions d'eclairage de la boite a lumiere et d'eclairage 
specifique pour la camera sont conf ondues . Ce dispositif 
trouve par exemple son application dans des bornes 
interactives permettant aux usagers de se reperer sur des 
plans de ville, et de determiner le trajet qu' ils doivent 
35 emprunter, en fonction des destinations qu'ils designent sur 
le plan. 
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- de maniere plus elaboree, les images sont formees sur le 
depoli a l'aide d' un projecteur situe derriere l'ecran. II 
peut s'agir de projecteurs de type « video » ou 
« graphiques », utilisant par exempie des technologies de type 

5 « Cathode Ray Tubes »/ « Liquid Crystal Display » ou « Digital 

Mirors Displays ». L'ecran est eclaire par l'arriere a l'aide 
de diodes infrarouges qui fonctionnent en mode pulse. La 
camera est reliee a une carte d' acquisition et de traitement 
d' image implantees dans une configuration informatique de type 

10 « Personnal Computer ». Cette configuration gere la 
synchronisation entre les impulsions d' eclairage de l'ecran et 
la saisie d' images par la camera. Elle gere egalement le 
contenu les images qui sont presentees sur l'ecran depoli par 
le projecteur. L' on dispose alors d'un equipement totalement 

15 interactif, avec la possibility pour l'operateur d' agir sur 
des claviers de touches reconf igurables , de deplacer des 
curseurs, d'ecrire sur l'ecran, en utilisant son doigt comme 
pointeur sur l'ecran depoli. Une des particulari tes de ce 
dispositif est qu' il est possible d'utiliser simultanement 

20 plusieurs pointeurs sur l'ecran, puisque l'on peut par exempie 
detecter la presence et la position de deux doigts poses 
simultanement sur l'ecran. II suffit d' avoir prevu un logiciel 
de traitement de 1' image delivree par la camera, qui autorise 
1' analyse de plusieurs taches simultanees. Cette possibility 

25. autorise de nombreuses fonctions originales: 

- lorsque l'on utilise un logiciel graphique pour generer 
des images projetees par le projecteur, il est tres facile de 
mesurer la distance entre deux points sur l'ecran, en pointant 
deux endroits differents de l'ecran avec deux doigts de deux 

30 mains differentes, a condition de disposer d'un logiciel de 
calcul complementaire capable de traiter la position de deux 
curseurs simultanes. 

- en amenageant des logiciels de creation d' image, par 
exempie de type « Paintbrush », a 1 ' utilisation simultanee de 

35 deux curseurs, l'on peut accelerer considerablement leur 
utilisation: a titre d' exempie, une droite sera tracee 
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directement en definissant simultanement ses deux extremites 
sur l'ecran. 

- en amenageant le logiciel de gestion du pointeur, il est 
possible de remplacer les fonctions traitees par une souris 
munie de plusieurs boutons de validation. Ainsi un operateur 
qui effectue une designation sur l'ecran avec un doigt, pourra 
valider cette designation en appuyant simplement un deuxieme 
doigt de la meme main sur l'ecran; le logiciel interpretera la 
presence d'un deuxieme doigt comae une validation de la 
fonction ou de la position designee par le premier doigt. 

L' invention sera mieux comprise a la lecture de la 
description qui suit de modes particuliers de realisation, 
donnes a titre d' exemples non limitatifs. La description se 
refere aux dessins qui 1 ' accompagne , dans lesquels: 

La figure 1 est une representation simplifiee d'un 
dispositif de presentation d' images muni d'un ecran tactile 
selon un premier mode de realisation de 1' invention, 
permettant de visualiser des graphiques realises sur support 
transparent (20) qui est plaque a l'avant d'un depoli (1); 

- la figure 2 , similaire a la figure 1, montre une 
variante de realisation d'un equipement de visualisation 
interactif (9) dans laquelle 1' image est obtenue a l'aide d'un 
projecteur (4) integre au dispositif; 

la figure 3, similaire a la figure 2, montre une 
variante de realisation dans laquelle- l'eclairage auxiliaire 
(2) qui est utilise pour eclairer la surface depolie (1) est 
situee en avant de cette surface tactile. 

- la figure 4 est une coupe partielle des dispositifs 
representes en figure 1 ou 2 au niveau de la surface tactile, 
et illustre le mecanisme de retroeclairage de l'extremite d'un 
doigt (12) qui vient au contact de la surface tactile 
dif fusante ( 1 ) ; 

- la figure 5 est une vue avant d'un dispositif suivant 
les figures 2 ou 3, et illustre la capacite du dispositif a 
utiliser simultanement deux pointeurs { 13 ) et (15) pour 
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effectuer des operations graphiques (ici le trace d'un segment 
de droite (14) entre deux points designes sur l'ecran (1)). 

Le dispositif comprend un ecran diffusant (1) qui fait 
office de surface tactile. Cette surface est eclairee par une 
ou plusieurs sources de lumiere (2), afin qu' une camera (6) 
puisse enregistrer par l'arriere de l'ecran (1) l'image d'un 
doigt (13) qui vient s'appuyer sur l'ecran. Cette image est 
traitee par un ensemble electronique (5) qui determine la 
presence du (ou des) doigt (s) sur l'ecran, et les coordonnees 
de i'empreinte sur le depoli. 

Dans le cas de la figure 1, l'eclairage (2) sert a la fois 
pour illuminer un dessin realise sur un transparent (20) et 
plaque sur un depoli (1), et a fournir la lumiere qui sera 
retrodif fusee par un doigt (13) pose sur 1' ensemble depoli - 
transparent .Dans le cas de la figure 1, 1 ' information 
resultante du calcul des coordonnees de I'empreinte du doigt 
sur le depoli (1 , est presentee sur l'ecran de visualisation 
electronique (21) . 

Suivant la figure 4, la lumiere d' eclairage (10) est 
diffusee en (11) a la traversee du depoli (1), puis 
retrodif fusee en (12) par le doigt. Le diametre (D) et 
l'intensite lummeuse de la tache ainsi retrodi f fusee sur le 
depoli depend de la distance (d) du doigt par rapport- a 
l'ecran. Pour detecter la presence d'un doigt sur l'ecran, le 
systeme electronique (5) pourra memoriser regulierement 
l'image initiale retrodif fusee par l'ecran (1) en 1' absence de 
designation, puis par soustraction avec cette image de 
reference determiner la presence d' une tache provoquee par la 
presence d'un doigt sur le depoli. Le systeme electronique 
verifiers que les points de la tache sont repartis dans un 
diametre (D) compatible avec la dimension d'un doigt (soit 
environ 10 mm) . II calculera ensuite le barycentre de ces 
points et en deduira la position X/Y du doigt sur l'ecran. Ce 
systeme electronique peut etre constitue a l'aide d'un 
ordinateur de type « PC » muni d' une carte d' acquisition 
d' images standart, et d'un logiciel de traitement d' images. II 
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faut noter que ce systeme fonctionne avec cies dessins 
suf f isamment transparents, en excluant les zones opaques qui 
masqueraient 1' image des doigts. 

Dans le cas des figures 2 et 3, l'eclairage (2) est dedie 
specif iquement a 1 ' illumination de la surface tactile (1), 
afin que la camera (6) puisse enregistrer 1' image d' un doigt 
qui vient s'appuyer sur l'ecran (1). Ici l'eclairage (2) emet 
une lumiere dans la bande spectrale comprise entre 0,7 um et 
1,1 um. Les images presentees sur l'ecran depoli (1) sont 
issues d' un projecteur (4); un miroir dichroique (7) reflechit 
les rayonnements dont la longueur d'onde est superieure a 
0,7pm et transmet les rayonnements de longueur d'onde 
inferieure a 0,7 um. De cette maniere la camera (6) n' est pas 
influencee par la lumiere issue du projecteur (4). L'eclairage 
(2) et la camera (6) sont relies au systeme electronique (5) 
de pilotage du dispositif. Les informations sont saisies image 
apres image par la camera (6) . Des impulsions lumineuses sont 
envoyees sur l'ecran (1) par le systeme d' eclairage (2) lors 
d'un cycle de saisie image sur deux. Le systeme electronique 
(5) effectue la difference entre deux prises d' images 
successives, afin d' eliminer 1' influence de toute source de 
lumiere autre que celle emise par l'eclairage (2) . A partir de 
cette image calculee, le systeme electronique (5) determine • la 
position eventuelle d'un ou de plusieurs doigts sur l'ecran, 
puis calcule leur(s) coordonnees sur l'ecran. Ces coordonnees 
peuvent etre utilisees pour generer de nouvelles images qui 
seront transmises au projecteur (4), ce projecteur etant lui 
relie au systeme electronique (5) . La figure (5) illustre un 
tel f onctionnement . 



10 



2756077 



REVINDICATIONS 

1. Dispositif de visualisation muni d' un ecran tactile 
5 comprenant un ecran (1) depoli ou translucide, caracterise en 

ce qu' il comprend simultanement : 

une camera (6) qui observe cet ecran depoli (1), en 
etant situee a l'arriere de 1' ecran depoli (1) par rapport a 
1' observateur, 

10 - un systeme d' eclairage auxiliaire (2) destine a eclairer 

le depoli (1) de fagon a faire apparaitre l'empreinte d'un ou 
de plusieurs doigts (13) (15) appuyes sur le depoli (1) ; 

- un systeme de traitement de 1' information (5) delivree 
par la camera (6), capable de detecter une ou plusieurs taches 

15 sur le depoli, cette ou ces taches correspondant a la ou les 
empreintes d'un ou de plusieurs doigts (13) appuyes sur le 
depoli et vue(s) a travers le depoli (1), et de calculer les 
coordonnees de cette ou de ces taches sur le depoli (1) . 

2. Dispositif suivant la revendication 1, caracterise en ce 
20 que 1' eclairage auxiliaire (2) est implante a la peripherie de 

1' ecran depoli, et du meme cote que 1' observateur par rapport 
a 1' ecran depoli (1) . 

3. Dispositif suivant la revendication 1, caracterise en ce 
que 1' eclairage auxiliaire (2) est implante a l'arriere de 

25 1' ecran depoli (1) par rapport a 1 ' observateur . 

4. Dispositif selon l'une quelconque des revendications 
precedantes, caracterise en ce que 1' eclairage auxiliaire (2) 
emet un rayonnement lumineux uniquement dans le domaine 
infrarouge, et que la camera d' observation (6) est munie d'un 

30 filtre optique qui lui permet de recevoir uniquement des 
rayonnements infrarouges. 

5. Dispositif selon l'une quelconque des revendications 
precedentes, caracterise en ce que la source de lumiere 
auxiliaire (2) emet des impulsions de lumiere synchronisers 

35 avec les instants ou la camera (6) effectue des prises de vue. 
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6. Dispositif suivant l'une quelconque des revendications 
precedentes, caracterise en ce que le systeme de traitement de 
1' information (5) delivree par la camera effectue la 
difference entre deux images prises successivement par la 

5 camera ( 6) . 

7. Dispositif selon l'une quelconque des revendications 
precedentes, caracterise en ce qu' il est pourvu d 'un 
dispositif optique (4) situe a l'arriere du depoli (1) par 
rapport a 1' observateur , ce dispositif optique (4) pro j etant 

10 une image sur ce depoli (1) . 

8. Dispositif suivant la revendication 7 caracterise en ce 
que le projecteur d' image (4) est muni d'un filtre optique (7) 
qui ne laisse pas passer les rayonnements lumineux dans le 
domaine spectral dans lequel la camera (6) est sensible. 

15 9. Dispositif suivant l'une quelconque des revendications 

precedentes, caracterise en ce que le systeme de traitement 
des informations (5) delivrees par la camera (6) est capable 
de detecter la presence simultanee d' au moins deux doigts (13) 
(15) poses sur le depoli (1). 

20 10. Dispositif suivant les revendications 7 et 9, 

caracterise en ce qu' il est muni d'un logiciel de traitement 
de 1' information capable de traiter la presence de deux 
curseurs simultanes, les positions de ces deux curseurs etant 
materialisees par deux doigts (13 et 15) poses simultanement 

25 sur le depoli (1), et d' effectuer des calculs ou des 
traitements prenant en compte ces deux positions. 
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